4 research outputs found
Sistemas automáticos de informação e segurança para apoio na condução de veículos
Doutoramento em Engenharia MecânicaO objeto principal desta tese é o estudo de algoritmos de processamento
e representação automáticos de dados, em particular de informação
obtida por sensores montados a bordo de veículos (2D e
3D), com aplicação em contexto de sistemas de apoio à condução.
O trabalho foca alguns dos problemas que, quer os sistemas de condução
automática (AD), quer os sistemas avançados de apoio à condução
(ADAS), enfrentam hoje em dia. O documento é composto por
duas partes. A primeira descreve o projeto, construção e desenvolvimento
de três protótipos robóticos, incluindo pormenores associados
aos sensores montados a bordo dos robôs, algoritmos e arquitecturas
de software. Estes robôs foram utilizados como plataformas de ensaios
para testar e validar as técnicas propostas. Para além disso, participaram
em várias competições de condução autónoma tendo obtido
muito bons resultados. A segunda parte deste documento apresenta
vários algoritmos empregues na geração de representações intermédias
de dados sensoriais. Estes podem ser utilizados para melhorar
técnicas já existentes de reconhecimento de padrões, deteção ou navegação,
e por este meio contribuir para futuras aplicações no âmbito dos
AD ou ADAS. Dado que os veículos autónomos contêm uma grande
quantidade de sensores de diferentes naturezas, representações intermédias
são particularmente adequadas, pois podem lidar com problemas
relacionados com as diversas naturezas dos dados (2D, 3D, fotométrica,
etc.), com o carácter assíncrono dos dados (multiplos sensores
a enviar dados a diferentes frequências), ou com o alinhamento
dos dados (problemas de calibração, diferentes sensores a disponibilizar
diferentes medições para um mesmo objeto). Neste âmbito,
são propostas novas técnicas para a computação de uma representação
multi-câmara multi-modal de transformação de perspectiva inversa,
para a execução de correcção de côr entre imagens de forma a
obter mosaicos de qualidade, ou para a geração de uma representação
de cena baseada em primitivas poligonais, capaz de lidar com grandes
quantidades de dados 3D e 2D, tendo inclusivamente a capacidade
de refinar a representação à medida que novos dados sensoriais são
recebidos.The main object of this thesis is the study of algorithms for automatic information
processing and representation, in particular information provided
by onboard sensors (2D and 3D), to be used in the context of
driving assistance. The work focuses on some of the problems facing
todays Autonomous Driving (AD) systems and Advanced Drivers Assistance
Systems (ADAS). The document is composed of two parts.
The first part describes the design, construction and development of
three robotic prototypes, including remarks about onboard sensors, algorithms
and software architectures. These robots were used as test
beds for testing and validating the developed techniques; additionally,
they have participated in several autonomous driving competitions with
very good results. The second part of this document presents several
algorithms for generating intermediate representations of the raw
sensor data. They can be used to enhance existing pattern recognition,
detection or navigation techniques, and may thus benefit future
AD or ADAS applications. Since vehicles often contain a large amount
of sensors of different natures, intermediate representations are particularly
advantageous; they can be used for tackling problems related
with the diverse nature of the data (2D, 3D, photometric, etc.), with the
asynchrony of the data (multiple sensors streaming data at different
frequencies), or with the alignment of the data (calibration issues, different
sensors providing different measurements of the same object).
Within this scope, novel techniques are proposed for computing a multicamera
multi-modal inverse perspective mapping representation, executing
color correction between images for obtaining quality mosaics, or
to produce a scene representation based on polygonal primitives that
can cope with very large amounts of 3D and 2D data, including the
ability of refining the representation as new information is continuously
received
Development of a foveated vision system for the tracking of mobile targets in dynamic environments
Mestrado em Engenharia MecânicaEste trabalho descreve um sistema baseado em percepção activa e em visão
foveada, projectado para identificar e seguir objectos móveis em ambientes
dinâmicos. O sistema inclui uma unidade pan & tilt para facilitar o seguimento e
manter o objecto no centro do campo visual das câmaras, cujas lentes grandeangular
e tele-objectiva proporcionam uma visão periférica e foveada do
mundo, respectivamente. O método Haar features é utilizado para efectuar o
reconhecimento dos objectos. O algoritmo de seguimento baseado em
template matching continua a perseguir o objecto mesmo quando este não
mais está a ser reconhecido pelo módulo de identificação. Algumas técnicas
utilizadas para melhorar o template matching são também apresentadas,
nomeadamente o Filtro Gaussiano e a Computação Rápida de Filtro
Gaussiano. São indicados resultados relativos ao seguimento, identificação e
desempenho global do sistema. O sistema comporta-se muito bem, mantendo
o processamento de, pelo menos, 15 fotogramas por segundo em imagens de
320x240, num computador portátil normal. São também abordados alguns
aspectos para melhorar o desempenho do sistema.
ABSTRACT: This work describes a system based on active perception and foveated vision,
intended to identify and track moving targets in dynamic environments. The full
system includes a pan and tilt unit to ease tracking and keep the interesting
target in the two cameras’ view, whose wide / narrow field lenses provide both
a peripheral and a foveal view of the world respectively. View-based Haar-like
features are employed for object recognition. A template matching based
tracking technique continues to track the object even when its view is not
recognized by the object recognition module. Some of the techniques used to
improve the template matching performance are also presented, namely
Gaussian Filtering and Fast Gaussian computation. Results are presented for
tracking, identification and global system’s operation. The system performs well
up to 15 frames per second on a 320 x 240 image on an ordinary laptop
computer. Several issues to improve the system’s performance are also
addressed
Automatic information and safety systems for driving assistance
Advisors: Vitor Santos, Angel D. Sappa. Date and location of PhD thesis defense: 21 February 2013, University of Aveiro (Portugal
A Camera to LiDAR calibration approach through the optimization of atomic transformations
This paper proposes a camera-to-3D Light Detection And Ranging calibration framework through the optimization of atomic transformations. The system is able to simultaneously calibrate multiple cameras with Light Detection And Ranging sensors, solving the problem of Bundle. In comparison with the state-of-the-art, this work presents several novelties: the ability to simultaneously calibrate multiple cameras and LiDARs; the support for multiple sensor modalities; the calibration through the optimization of atomic transformations, without changing the topology of the input transformation tree; and the integration of the calibration framework within the Robot Operating System (ROS) framework. The software pipeline allows the user to interactively position the sensors for providing an initial estimate, to label and collect data, and visualize the calibration procedure. To test this framework, an agricultural robot with a stereo camera and a 3D Light Detection And Ranging sensor was used. Pairwise calibrations and a single calibration of the three sensors were tested and evaluated. Results show that the proposed approach produces accurate calibrations when compared to the state-of-the-art, and is robust to harsh conditions such as inaccurate initial guesses or small amount of data used in calibration. Experiments have shown that our optimization process can handle an angular error of approximately 20 degrees and a translation error of 0.5 meters, for each sensor. Moreover, the proposed approach is able to achieve state-of-the-art results even when calibrating the entire system simultaneously.publishe